台湾专利TW201306561A 產生用於顯示器之信號之方法及裝置

专利PDF首页>>台湾专利

专利附录

专利说明

权利要求

类似技术

同族专利

引用文献

法律状态

优先权

专利摘要:
本發明揭示一種用於產生用於一顯示器(103)之一影像信號之裝置，該裝置包括接收包括一影像序列之三維資料之一視訊信號之一接收器(105)。一影像產生器(107)基於該三維資料及一演現視點而產生該影像序列之顯示影像。一鏡頭轉場偵測器(111)偵測該影像序列中之鏡頭轉場且一視點控制器(113)與該鏡頭轉場同步地改變該演現視點。一信號產生器(109)產生該影像信號以包括該顯示影像。該裝置可進一步追蹤觀看者移動且相應地調適該演現。另外，系統可將該視點朝向一標稱視點偏置。由於追蹤所致之視點改變可係與鏡頭轉場不同步的，而由於偏置所致之視點改變可係與鏡頭轉場同步的。
公开号:TW201306561A
申请号:TW101122298
申请日:2012-06-21
公开日:2013-02-01
发明作者:Bart Kroon
申请人:Koninkl Philips Electronics Nv；
IPC主号:H04N13-00

专利说明:
產生用於顯示器之信號之方法及裝置
本發明係關於用於一顯示器之一信號之一產生，且特定而言(但非排他性地)，係關於取決於一觀看者之一視點之三維影像資訊之演現。
近年來，對提供影像及視訊內容之一種三維(3D)感知之日漸濃厚的興趣已致使引入可藉由為一觀看者之雙眼提供不同視野而提供一3D效應之3D顯示器。此等顯示器包含以一時間序列方式向右眼及左眼投影影像之時間序列立體顯示器。觀看者戴上包括替換地阻擋光至左眼及右眼藉此確保每一眼僅看到針對彼眼之影像之LCD元件之眼鏡。另一類型之顯示器係不需要觀看者戴眼鏡之一自動立體顯示器。此一顯示器通常在不同視錐中演現相當大數目個影像。舉例而言，通常自動立體顯示器可實施九個不同視錐，其每一者對應於一不同視點組。此等顯示器因此同時呈現九個不同影像。
作為另一實例，一3D效應可由實施動作視差功能之一習用二維顯示器達成。此等顯示器追蹤使用者之移動且相應地調適所呈現影像。在一3D環境中，一觀看者之頭部的移動導致相當大之量的較近物件之相對透視移動而較遠物件將漸進較少地移動，且實際上一無限深度處之物件將不移動。因此，藉由基於觀看者之頭部移動而提供二維顯示器上之不同影像物件之一相對移動，可達成一可感知之3D效應。
為實現對3D影像效應之期望，內容經形成以包含描述所擷取場景之3D態樣之資料。舉例而言，針對電腦產生圖形，一個三維模型可經研發且用於根據一既定觀看位置計算影像。此一方法(舉例而言)經常用於提供一種三維效應之電腦遊戲。
作為另一實例，諸如電影或電視節目之視訊內容日益經產生以包含某些3D資訊。可使用自稍微偏移攝影機位置擷取兩個同時影像之專用3D攝影機來擷取此等資訊。在某些情形中，可自較遠偏移位置擷取更多同時影像。舉例而言，相對彼此偏移之九台攝影機可用於產生對應於一個九視錐自動立體顯示器之九個視點之影像。
然而，一顯著問題係額外資訊導致實質上增加之資料量，此對視訊資料之分散、通信、處理及儲存係不可行的。因此，3D資訊之高效編碼係關鍵的。因此，已研發實質上可減少所需資料速率之高效3D影像及視訊編碼格式。
一個此編碼格式針對一既定觀看者位置編碼一左眼影像及一右眼影像。可藉由相對彼此編碼兩個影像增加編碼效率。例如，可使用影像間預測或可依據與另一影像之差異而簡單地編碼一個影像。
另一編碼格式提供一或兩個影像連同指示一相對影像物件之一深度影像物件之深度資訊。可藉由在前景中提供由較遠之其他影像元件遮蔽之影像物件之資訊之遮蔽資訊而進一步補充此編碼。
該等編碼格式允許直接編碼影像之一高品質演現，亦即，該等編碼格式允許對應於針對其編碼影像資料之視點之影像之高品質演現。此外，該編碼格式允許一影像處理單元產生針對相對於所擷取影像之視點位移之視點之影像。類似地，影像物件可基於與影像資料一起提供之深度資訊而在該(等)影像中移位。此外，未由影像表示之區域可使用遮蔽資訊(若此資訊可用)填充。
因此，基於所接收資料，一影像處理單元可產生針對其他視點之影像。舉例而言，當一使用者移動其頭部時一影像處理單元可產生用以表示動作視差之視野，或可產生針對一個九視錐自動立體影像之所有九個視點之視野。此處理允許產生可使觀看者能夠(例如)「環視」物件之影像。
然而，一問題係針對除經原始編碼影像之視點以外之視點之影像通常相對於該等經原始編碼影像(亦即，相對於針對原始攝影機位置所產生之影像)具有降級品質。舉例而言，影像物件之相對偏移可僅係大約正確，或遮蔽資訊可完全不可用於由於視點之改變而經解遮蔽之影像物件。事實上，已發現所感知之品質降級隨視點之位移而非線性地增加。因此，通常認為視點偏移之一加倍導致品質降級之實質上一個以上之加倍。
因此，一經改良方法將係有利的，且特定而言，允許增加靈活性、增加所感知影像品質、一經改良之空間體驗、經改良之視點調適及/或經改良之效能之一方法將係有利的。
因此，本發明力圖單個地或以任何組合方式來較佳減輕、緩和或消除以上所提及之缺點中之一或多者。
根據本發明之一態樣，提供一種用於產生用於一顯示器之一信號之裝置，該裝置包括：一接收器，其用於接收包括一影像序列之三維資料之一視訊信號；一影像產生器，其用於基於該三維資料及一演現視點而產生該影像序列之顯示影像；一鏡頭轉場偵測器，其用於偵測該影像序列中之鏡頭轉場；一視點控制器，其用於與該等鏡頭轉場同步地改變該演現視點；及一信號產生器，其用於產生該信號以包括該顯示影像。
本發明可提供一經改良之觀看體驗，且特定而言，可在諸多情景中感知經改良之平均影像品質。本發明可允許觀看3D影像內容之一使用者之一較自然使用者體驗。方法可允許所呈現影像之視點之改變對使用者較不顯而易見，藉此允許由系統進行之視點之改變之經改良之自由及靈活性。
三維資料可以任何適宜格式提供，諸如例如對應於不同視角之複數個影像、與深度資訊組合之一或多個影像或例如此等方法之一組合。
根據本發明之一選用特徵，該裝置進一步包括：一輸入，其用於接收該顯示器之一觀看者之一位置之一位置指示；一處理器，其用於回應於該位置指示而判定一觀看者視點估計；且其中該視點控制器經配置以回應於該觀看者視點估計而判定該演現視點。
可達成一經改良使用者體驗。舉例而言，使用者可在移動其頭部同時允許系統調適至一新半靜止位置時感知一逼真且自然動作視差。該調適可允許相對於場景之使用者之視點之一改變，其中此改變對使用者較不顯而易見。該方法可在使所呈現影像動態地適應觀看者頭部移動之期望與對應於一較佳視點演現影像之期望之間提供一經改良折衷。
位置指示可係使用者之一個三維、二維或甚至一維位置特性之一指示。舉例而言，該位置指示可指示自顯示器至觀看者視點之一角度或沿著平行於該顯示器之一水平軸之一位置。
根據本發明之一選用特徵，視點控制器經配置而不同步於該等鏡頭轉場地調整該演現視點以追蹤該觀看者視點估計之改變。
此允許影像對使用者移動之流暢且自然表面調適同時亦允許系統引入對演現視點之具有對使用者減少之顯而易見性之其他改變。方法可特定允許產生動作視差之一自然體驗藉此提供強烈3D線索。
根據本發明之一選用特徵，演現視點朝向標稱視點之偏置取決於以下中之至少一者：該演現視點與一標稱視點之間的一差；該觀看者視點估計與一標稱視點之間的一差；該影像序列之一內容特性；該影像序列之一深度特性；一短轉換頻率估計；一鏡頭持續時間；及該演現視點之一品質降級指示。
此可允許經改良之效能及/或可允許一經改良使用者體驗。
根據本發明之一選用特徵，視點控制器經配置以結合一鏡頭轉場引入對該演現視點之一步進改變。
此可允許一經改良使用者體驗且可(例如)減少視點之改變之顯而易見性及/或速度。該視點控制器可進一步經配置以在鏡頭轉場之間的時間間隔中執行演現視點對觀看者移動之一連續且流暢調適。
根據本發明之一選用特徵，視點控制器經配置以藉由與該等鏡頭轉場同步地朝向一標稱視點改變該演現視點而將該演現視點朝向該標稱視點偏置。
此可允許所演現影像之一經改良品質同時允許系統跟隨觀看者之頭部位置之動態改變。通常，針對對應於一標稱視點之一視點，影像品質係較高的。標稱視點可(舉例而言)對應於一編製(authoring)視點，諸如針對其提供3D資料之視點。當偏離此標稱視點時，影像之產生通常引入某些影像降級及假影。當觀看者改變位置時，觀看者之視點亦改變。藉由調適演現以使得演現視點跟隨觀看者視點，可提供一非常逼真3D體驗，包含(例如)動作視差且允許觀看者「環視」物件。然而，視點之改變可通常導致某一影像降級。系統可因此將演現視點自觀看者視點朝向標稱視點偏置以便增加所呈現影像之影像品質。此外，視點之此改變係與鏡頭轉場同步，此導致視點改變較不為使用者可感知。因此，達成一經改良影像品質同時仍允許對使用者移動之一自然回應。
在某些實施例中，可僅當位置指示之一變化特性滿足一準則時引入偏置。舉例而言，當使用者頭部移動在一既定時間間隔中小於一既定量時，可引入偏置。然而，若在此實例中偵測到高於一既定位準之使用者移動，則不引入偏置且演現視點跟隨觀看者視點。
該偏置可係一預定偏置。舉例而言，可引入演現視點朝向標稱視點之一既定預定改變。
標稱視點可係相對於顯示器之一標稱視點，諸如對稱地正好在顯示器前面之一位置及一既定預定高度。標稱視點可特定對應於顯示器之一中心觀看位置。標稱視點可對應於用於所接收視訊信號之編製視點，諸如例如在擷取或產生視訊信號之影像時之攝影機視點。
根據本發明之一選用特徵，顯示器係一單像顯示器。
本發明可允許觀看一單像顯示器上之3D內容之一使用者之一經改良使用者體驗。特定而言，方法可透過實施所演現影像之一動作視差調適而允許一3D效應同時允許系統(至少部分地)不可感知地反轉至一增加品質影像。
信號產生可經配置以產生驅動信號以包括單像影像。該等顯示影像可係單像影像。
根據本發明之一選用特徵，顯示器係一立體顯示器。
本發明可允許觀看一立體顯示器上之3D內容之一使用者之一經改良之使用者體驗。特定而言，方法可透過左右眼之不同影像之立體演現以及視情況所演現影像之一動作視差調適之實施而允許一3D效應。方法可允許視點改變具有減少之可感知性且可特定而言允許至所呈現立體影像之一較佳視點之一較不可感知反轉。
信號產生可經配置以產生驅動信號以包括立體影像。顯示影像可係立體影像。
立體顯示器可特定而言係一自動立體顯示器。
根據本發明之一選用特徵，裝置進一步包括經配置以引入對該影像序列之一鏡頭切變(shot cut)之一鏡頭切變產生器。
此可在諸多情景中提供一經改良使用者體驗。舉例而言，其可甚至在所呈現內容不含有非常頻繁之鏡頭轉場時減少視點之改變之可感知性。系統可特定調適演現視點改變以對應於影像序列中之鏡頭轉場，且若其不允許此一調適提供演現視點之一適宜改變，則引入額外鏡頭轉場至影像序列。
根據本發明之一選用特徵，鏡頭切變產生器經配置以回應於以下中之至少一者引入鏡頭切變：滿足一準則之一鏡頭持續時間特性；滿足一準則之該演現視點；滿足一準則之一品質降級指示；及對跨越一自動立體顯示器之一視錐邊界之一觀看者之一偵測。
此可在諸多情景中且針對諸多不同視訊信號及視訊內容提供一經改良使用者體驗。
根據本發明之一選用特徵，視點控制器經配置以回應於滿足一準則而切換至一第二操作模式，該視點控制器在處於該第二操作模式中時經配置以藉由不與該等鏡頭轉場同步地朝向該顯示器之一標稱視點改變該演現視點而將該演現視點朝向該標稱視點偏置。
此可允許一增加視訊內容範圍之一經改良適宜性。舉例而言，若特定影像序列之特性不允許演現視點之一適宜改變，則可使用其中演現視點改變不同步於鏡頭轉場之一不同模式。舉例而言，可使用演現視點之一緩慢連續改變，從而對應於觀看者看到影像朝向對應於標稱視點之視野之一緩慢旋轉。
第二操作模式中之偏置可比鏡頭轉場同步模式之偏置慢。
根據本發明之一選用特徵，視點控制器經配置以相對於一標稱視點限制該演現視點。
此可在諸多情景中提供經改良之影像演現且可特定用於確保影像品質與視點改變特性之間的一所期望折衷。
根據本發明之一態樣，提供一種產生用於一顯示器之一信號之方法，該方法包括：接收包括一影像序列之三維資料之一視訊信號；基於該三維資料及一演現視點而產生該影像序列之顯示影像；偵測該影像序列中之鏡頭轉場；與該等鏡頭轉場同步地改變該演現視點；及產生該信號以包括該顯示影像。
根據本發明之一態樣，提供一種電腦程式產品，其包括經調適以當該程式在一電腦上運行時執行方法之所有步驟之電腦程式碼構件。
根據本發明之一態樣，提供一種顯示器，其包括：一接收器，其用於接收包括一影像序列之三維資料之一視訊信號；一影像產生器，其用於基於該三維資料及一演現視點而產生該影像序列之顯示影像；一鏡頭轉場偵測器，其用於偵測該影像序列中之鏡頭轉場；一視點控制器，其用於與該等鏡頭轉場同步地改變該演現視點；一顯示器面板；及一顯示器驅動器，其用於驅動該顯示器面板以演現該顯示影像。
參考下文中所闡述之實施例將明瞭並闡明本發明之此等及其他態樣、特徵及優點。
將參考附圖且僅以實例之方式闡述本發明之實施例。
以下闡述側重於可應用於試圖為一觀看者維持呈現於一顯示器上之一個三維場景之一正確透視之一顯示器系統之本發明之實施例。然而，應瞭解，本發明並不限於此應用而可同樣地應用於(例如)試圖引入或維持一美化、失真或仿真透視之應用。
圖1圖解說明根據本發明之某些實施例之一顯示系統。該系統包括耦合至一顯示器103之一影像處理單元101。在某些實施例中，影像處理單元101及顯示器103可係單獨實體且(例如)影像處理單元101可係一單獨機頂盒或其一部分(諸如例如，一個人視訊記錄器、一家庭影院放大器等)且顯示器103可係諸如例如一電視機、視訊監視器或電腦顯示器之一單獨實體。在此等實施例中，影像處理單元101及顯示器103可經由任何適宜通信媒體(包含例如一直接纜線、一直接無線連接或一通信網路(諸如例如一以Wi-Fi為基礎之網路))耦合在一起。
在其他實施例中，影像處理單元101可係一顯示器之一部分，且實際上影像處理單元101可包括直接針對一顯示器面板(諸如例如一LCD或電漿顯示器面板)產生驅動信號之功能。
影像處理單元101包括接收一視訊信號之一接收器105。該視訊信號包括一影像序列之三維(3D)資料。3D資料因此使得能夠藉由適宜處理3D資料而產生3D影像。
在某些實施例中，3D資料可簡單地包括對應於相同場景之不同視點之複數個(通常同時)影像。舉例而言，一影像可提供用於一左眼視野且一對應影像可提供用於一右眼視野。兩個影像因此表示來自不同視點之相同場景且提供該場景之一立體3D表示。在其他實施例中，可提供兩個以上對應影像。
作為另一實例，3D資料可連同深度資料經提供作為影像資料。舉例而言，一單個影像可連同指示不同影像區域及物件(或實際上個別像素)之一對應深度之資料提供。該深度資料可(舉例而言)給定為一像差或一z分量。此外，可提供表示完全或部分由其他影像區域遮蔽之影像物件之影像資訊之遮蔽影像資料。
接收器105可自任何適宜內部或外部源接收視訊信號。舉例而言，視訊信號可自以下源接收：自一外部通信或分散網路、直接自諸如一外部Bluray^TM播放器、一個人視訊記錄器等之一適宜源或自諸如一內部光碟讀取器、一硬碟或實際上一本端影像產生器(諸如由一適宜處理平臺實施之一圖形模型)之一內部源。
接收器105耦合至經配置以基於3D資料及一演現視點而產生輸入影像序列之顯示影像之一影像產生器107。影像產生器107經配置以產生可由一顯示器呈現且對應於場景之一既定演現視點之影像。因此，顯示影像經產生一表示將自定位於演現視點處之一觀看者/攝影機看到之視野。演現視點可不同於針對其產生或送呈輸入影像序列之內容或編製視點。
舉例而言，輸入信號包括針對一既定編製視點所產生一影像序列。編製視點可係記錄影像之一實際攝影機之視點或可(例如)係由一圖形模型所使用之一虛擬攝影機視點。除了此等影像之影像資料外，3D資料亦可進一步包括(例如)以像差資料形式之深度資訊。影像產生器107可然後使用深度資料來處理影像以產生反映自一不同視點將看到之場景之程度之影像。因此，影像產生器107產生自可不同於輸入資料之原點或標稱視點之一視點演現之顯示影像。
影像產生器107耦合至產生包括由影像產生器107演現之影像之一輸出信號之一輸出電路109。應瞭解，輸出信號之特定格式取決於顯示器之特定實施例及特性。舉例而言，在某些實施例中，可產生包括經編碼影像之一輸出信號。編碼可(舉例而言)根據一習知編碼標準，諸如一MPEG編碼標準。在其他實施例中，輸出信號可直接包括一適宜顯示器面板之一特定驅動信號。
系統可因此相對於輸入影像資料之視點改變所演現影像之視點。在特定實例中，系統經配置從而以不同方式且出於不同目的而改變視點。實際上，某些視點改變經引入以為使用者提供一顯而易見且有利之3D效應而其他視點改變意欲對使用者較不顯而易見。
特定而言，系統可引入意欲不為使用者所注意之某些視點改變。
為支援此等視點改變，圖1之系統包括經配置從而以所接受影像序列偵測鏡頭轉場之一鏡頭轉場偵測器111。
一鏡頭係一連貫影像序列，針對該序列，虛擬改變係足夠小以被感知為對一單個所繪示場景之一單個連續觀察。一鏡頭可視為在一(可能連續移動)視點處連續擷取且表示時間及空間之一連續動作之一系列相關連貫圖片。通常，若存在一場景改變及/或一既定場景之視點突然改變(例如，在一既定時間間隔中之視點改變超過一既定臨限值時)，則認為發生鏡頭轉場。
鏡頭轉場可係突然的，其中轉換係自一個影像(圖框)至下一個或至少越過數個圖框而發生。在其他情形中，鏡頭轉場可較漸進且越過較多影像/圖框延伸。在此等情景中，轉換可包含來自兩個鏡頭之影像之一漸進併合，其中前一鏡頭之一漸進淡出及新鏡頭之一漸進淡入。
應瞭解，可在不有損於本發明之情況下使用用於偵測鏡頭轉場之任何適宜準則或演算法。
舉例而言，在某些情景中，所接收視訊信號可包括指示影像序列中何時發生鏡頭轉場之後設資料。舉例而言，當在編輯一電影期間，可產生指示何時存在自一影片片段至下一影片片段之一轉換資料。此資料可包含於經編碼信號中。在此等情景中，鏡頭轉場偵測器111可簡單地提取指示鏡頭轉場之後設資料。
然而，通常，鏡頭轉場偵測器111經配置以分析影像序列以估計何處發生鏡頭轉場。此一偵測可通常基於對所包含影像之特性之一改變之偵測。因此，鏡頭轉場偵測器111可連續產生各種影像特性且在一特性之一改變滿足一既定準則時認為發生一鏡頭轉場。
舉例而言，當既定數目個圖框內一平均亮度及一色彩分佈改變大於一既定臨限值時可認為發生一鏡頭轉場。
可於Alan F.Smeaton之「Video shot boundary detection：Seven years of TRECVid activity」(Computer Vision and Image Understanding 114(2010)411-418,2010)中獲得目前技術水平之鏡頭轉場偵測方法之一概述以及對其工作之一分析。
作為鏡頭轉場偵測之一更特定實例，考量基於以下操作之一方法：藉由將圖框按比例縮放至一縮圖大小而計算連貫圖框之相似性，將該等縮圖重新解釋為向量，且然後計算連貫向量之L2範數。若且唯若所計算範數超過一預定臨限值，則偵測一鏡頭轉場。該方法可藉由包含一較複雜圖框相似性量測及/或藉由不僅比較連貫圖框而且比較一視窗中之多個圖框而擴展。後者將允許正確詮釋漸進轉換以及忽略錯誤轉換(諸如閃燈)。
應瞭解，在某些實施例中，鏡頭轉場偵測器111可包含各種並列偵測演算法或準則。舉例而言，其可不僅偵測鏡頭轉場而且偵測是否存在硬轉換或漸進轉換。
鏡頭轉場偵測器111耦合至一視點控制器113，該視點控制器進一步耦合至影像產生器107。視點控制器113判定由影像產生器107用於產生輸出顯示影像之演現視點。因此，視點控制器113判定針對其演現影像之視點。
在某些情形中，預期觀看者注意到視點改變。舉例而言，環視一前景物件以看到後景之元素之觀看者之一印象可藉由相應地移動演現視點而達成。然而，在其他情景中，預期在使用者不注意之情況下移動視點。因此在某些情景中期望減少演現視點之改變之可感知性。
圖1之視點控制器113經配置以藉由(至少有時)使演現視點之改變同步化至所偵測到之鏡頭轉場而達成上述情況。作為一特定實例，視點改變可限定於僅在鏡頭轉場期間發生。此將導致視點改變與所呈現內容之轉換相關聯地發生以使得此等視點改變不變成對觀看者顯而易見。
舉例而言，輸入影像序列可包括自正面所見之一塑像之一第一鏡頭。當前演現視點可偏移至一側以便提供由一正面視野中之塑像所遮蔽之背景之元素之一視野。可在整個鏡頭中維持此視點。當輸入影像中發生一鏡頭轉場(例如)以展示一完全不同場景時，此由鏡頭轉場偵測器111偵測到，該鏡頭轉場偵測器可作為回應而移動演現視點回至輸入影像之視點。此將不為使用者注意，此乃因存場景已完全改變且因此不存在兩個鏡頭之共同或連貫視點參考。在一稍後階段處(例如，在下一鏡頭轉場時)，場景可切換回至塑像。然而，演現視點現在已切換至輸入串聯之彼演現視點且相應地將自正面演現塑像。然而，與若在塑像之一鏡頭期間發生轉換相比，視點自偏移至輸入視點之此轉換在感知上較不顯著且令人不悅。該方法可(舉例而言)允許一經改良使用者體驗，其中一使用者可人工使視點偏移一較短時間(例如，藉由按壓指示對環視一前景物件之一期望之一遙控器上之一按鈕)，其中系統自動返回至編製視點且具有一減小切換回之感知影響。
在圖1之特定實例中，系統進一步包括用於接收顯示器之一觀看者之一位置之一位置指示之一輸入115。該位置可(舉例而言)係指示觀看者相對於顯示器103之位置之一準確三維位置。在其他實例中，位置指示可係使用者相對於顯示器平面之一角度之一粗略指示。在某些實施例中，位置指示可簡單地指示觀看者相對於顯示器之一中心之一水平偏移。
應瞭解，可使用用於產生位置指示之任何構件，且在某些實施例中，用於產生位置指示之該構件可係顯示器系統之一部分，且(例如)可與影像處理單元101或顯示器103整合。
系統可(舉例而言)包含一頭部追蹤或使用者追蹤系統。作為一實例，一攝影機可置於顯示器103上且經引導朝向觀看區域。由該攝影機擷取之影像可經分析以偵測對應於使用者之頭部之影像物件且位置指示可經產生以反映此等之位置。作為另一實例，使用者可戴上一器件(諸如一紅外線發射器)，從而輻射可被偵測到且用於判定一位置之信號。作為又一實例，一使用者可戴上一位置判定器件(諸如一GPS賦能行動電話)，該位置判定裝置判定一位置並傳輸其至顯示器系統。
可(例如)於以下文獻中找到判定一使用者之一位置指示之系統之特定實例：Carlos Morimoto等人之「Pupil Detection and Tracking Using Multiple Light Sources」(Journal of Image and Vision Computing，18(4)，第331至335頁，Elsevier，2000年3月)；Marco La Cascia等人之「Fast,Reliable Head Tracking under Varying Illumination：An Approach Based on Registration of Texture-Mapped 3D Models」(IEEE Transactions on Pattern Analysis and Machine Intelligence(PAMI)，22(4)，2000年4月)；及3.Johnny Chung Lee之「Hacking the Nintendo Wii Remote」(IEEE Pervasive Computing magazine，第7卷，第3期，第39至45頁，2008年)。
位置輸入115耦合至一位置處理器117，該位置處理器經配置以基於所接收位置指示而判定一觀看者視點。觀看者視點估計可在某些情形中與位置指示相同，但在諸多實施例中位置指示之某一處理可用於產生觀看者視點估計。舉例而言，可使用某一篩選或平均化或可使用一幾何評估來判定相對於顯示器103之觀看位置。
位置處理器117進一步耦合至視點控制器113，該視點控制器被饋送觀看者視點估計。視點控制器113可然後回應於觀看者之視點而判定演現視點。
此方法允許達成一非常有利觀看體驗。實際上，在觀看者移動其頭部時，所演現影像可經動態且連續地調適以反映使用者之當前位置。舉例而言，動作視差可經實施以使得當使用者沿一個方向移動其頭部時，所呈現影像之影像物件在所呈現影像中移動以反映視點之改變。因此，演現視點追蹤所估計觀看者視點以提供一自然體驗，且以特定提供觀看實際上呈現於螢幕之後的一個三維場景之效應。特定而言，追蹤觀看者之頭部移動可提供對係透過其看到一真實三維場景之一視窗之顯示器之一感知。
舉例而言，若使用者朝向左側移動其頭部，則影像物件(在顯示器平面之後)根據適當透視及動作視差規則而移位至左側。移位之程度取決於影像物件之深度以使得不同深度處之影像物件具有不同位移。由於影像產生器107具有輸入影像之3D資訊，因此其可能判定所呈現影像之適當移位。此一方法可特定允許自一單像2D顯示器提供一3D體驗，此乃因顯示器上之影像物件之經區分之深度相依移動在使用者移動其頭部時為觀看者提供實質上3D線索。換言之，可藉由實施所呈現影像之動作視差由一2D顯示器提供一3D效應。
因此，期望在上述情況允許3D內容之較沈浸式顯示(藉助或不藉助立體視覺)時使顯示器系統知曉觀看者之位置。
然而，在諸多系統中，影像品質往往降級，此乃因演現視點偏離輸入影像之視點。舉例而言，所需要影像資料可完全不可用於因視點改變而解遮蔽之影像物件或區域。在此等情景中，經修改之視點影像之演現使用諸如外插法及內插法之估計技術來填充影像中之空隙。此外，演現演算法可引入錯誤及不準確性，從而導致(例如)影像假影或失真透視。
舉例而言，針對當前3D格式，諸如Blu-ray及DVB 3D，已發現在觀看者之位置變得愈來愈反常藉此偏離輸入信號之視點較大時演現假影增加。實際上，針對此等格式，除標稱左及右視野外完全不存在影像資料且因此必須估計自此等視點中之任一者不可見之場景中之每一事物。針對其他格式(諸如MPEG MVD及影像+深度格式)發生相似效應。
因此，除期望自不同視點演現影像以外，亦期望自標稱視點演現影像。
在圖1之系統中，藉由允許演現視點跟隨且適應觀看者視點同時亦將演現視點朝向特定而言可對應於輸入影像之視點之一標稱視點偏置來解決此矛盾。因此，系統可允許連續適應觀看者之視點且追蹤觀看者之視點同時引入將演現視點緩慢偏置回至標稱視點。因此，當使用者移動其頭部時，所呈現影像跟隨此移動以提供一動作視差效應及一自然3D體驗。然而，引入一偏置以使得演現視點緩慢地反轉至標稱視點。實際演現視點因此係觀看者視點之改變與朝向標稱視點之緩慢偏置之一組合。
此外，與所偵測到之鏡頭轉場同步地執行視點偏置。因此，與鏡頭轉場同步地執行演現視點中之非觀看者相關改變，而非引入演現視點之一非觀看者相關連續移動。此提供一更少可感知偏移及至標稱視點之移動。特定而言，可避免或減輕演現視點之一緩慢連續改變被感知為場景之一緩慢水平擺鏡拍攝(panning)/旋轉。此一非使用者移動相關水平擺鏡拍攝/旋轉將通常被感知為非所期望且可甚至引入諸如動暈症之效應。
在系統中，演現視點之偏置因此係與鏡頭轉場同步地引入演現視點之改變之一非觀看者動作相關分量。特定而言，每當發生一鏡頭轉場時可對演現視點引入步進改變。由於一鏡頭轉場通常與一場景改變或相同場景之至少一實質上不同視點相關聯，因此此等步進改變通常不為使用者可感知。在實例中，演現視點之偏移在鏡頭轉場之間的鏡頭間隔期間可不適用，亦即，鏡頭轉場之間不引入對演現視點之非觀看者相關改變。
同時，可追蹤由於觀看者視點之改變所致之演現視點之改變。此外，此追蹤可連續執行且不同步於鏡頭轉場。因此，在(鏡頭轉場之間的)鏡頭期間，演現視點連續改變以跟隨觀看者之頭部移動藉此為一自然使用者體驗提供(例如)一強烈動作視差效應。
該方法因此允許演現視點之不同改變之間的一區別。特定而言，允許使用者明顯地感知到觀看者相關改變同時允許非觀看者相關改變對使用者實質上較不顯而易見。該方法可允許提供一自然3D效應以匹配頭部移動同時允許實質上增加平均所感知影像品質。
可藉由考量一特定場景及此場景演現於一顯示器上之程度來闡明先前所闡述之問題及原則。圖2圖解說明欲呈現於一顯示器上之一場景200。該場景包括一汽車、一樹及一房屋，且該場景係透過一顯示器而看到，該顯示器如同透過其觀看該場景之一視窗理想地起作用。在該實例中，顯示器係一單像顯示器。
圖3圖解說明距離視窗較近之一位置301及距離視窗較遠之一位置302之場景之一中心視野。因此，圖3圖解說明將自一中心視點呈現於顯示器上之場景。
圖4圖解說明四個不同視點及場景之對應之正確透視之視野401、402、403、404。圖5圖解說明若執行正確透視調整(亦即，視點調整/動作視差)則將針對此等四個視點呈現於顯示器上之影像501、502、503、504。在圖1之系統中，藉由視點控制器113調整演現視點以追蹤使用者移動來執行此調整。
圖6圖解說明將由一觀看者自不包含任何透視調整之一傳統顯示器之不同視點看到之視野601、602、603、604。
圖7及圖8圖解說明圖1之系統可如何調整演現視點以反映一觀看者視點之改變之一實例。圖7圖解說明當觀看者處於對應於標稱位置(通常對應於一中心編製位置)之一觀看位置時之中心影像700。觀看者現在水平移動至自側面部分觀看顯示器之一位置。圖1之視點控制器113追蹤此移動且改變所顯示之影像以反映該移動，如圖8中之影像800中所圖解說明。
如可看到，顯示器系統起作用以提供對應於其中透過一視窗看到3D場景(亦即，仿佛顯示器係場景上之一視窗)之情景之一自然體驗。然而，對應於此新視野之所呈現之影像係極其不同於中心視點(亦即，標稱輸入視點)之影像，且可需要中心視野之編碼中不包含之資訊。舉例而言，在圖8之影像中部分地看到汽車之前端但在圖7之影像中看不到。需要以正確顯示汽車之前端之資訊可不可用，此乃因其不包含於對應於該中心視野之輸入影像。演現器可然後試圖近似或估計正確影像資料，舉例而言，使用補洞技術，但此將通常導致演現假影。作為另一實例，所改變視點導致在圖8之視野中看得見在房屋之右側(自正面看，亦即，在圖8之右側)之一大區域但在圖7之視野中看不見。演現演算法將通常使用外插法填充此一區域，亦即，鄰近區域將延伸至新區域中。然而，若場景在此區域中含有任何物件，則其將不在圖8之視野中演現，藉此導致演現假影。
此外，處理及演算缺陷往往針對增加視點偏移而增加。
圖8中所呈現之視野可因此具有減少之影像品質，且因此圖1之系統將演現視點朝向標稱視點偏置。因此，若觀看者在相同位置(靠側面)保持靜止，則影像處理單元101將切換演現視點以使得其最終對應於標稱視點。此移位係與鏡頭轉場同步進行。
圖9中例示該方法，圖9展示在觀看者保持位於側向位置中時向其所呈現之影像。第一影像901展示對應於圖8之視野，亦即，在觀看者已移動之後立即之視野。此為使用者提供與其移動相稱之一透視改變。影像序列可然後包含一或多個鏡頭轉場且呈現其他場景。當視訊返回至該場景，演現視點已經移位以使得演現視點不再與觀看者之視點相同而是朝向標稱(或參考)中心視野移位。在鏡頭轉場期間已發生視點之此移位且因此在無使用者之情況下具有一固定連續視點參考。因此，其並非對使用者非常顯而易見。可發生進一步場景改變且在每一鏡頭轉場時可發生演現視點之一小改變以使得演現視點朝向標稱視點往回移動。因此，在此程序結束時，觀看者被呈現有對應於中心視野之一視野，儘管觀看者實質上定位至顯示器之側面。
藉由以以上方式應用本發明，所顯示影像將在觀看者動作期間提供動作視差，從而導致一非常流暢且自然體驗。然而，當觀看者已「永久地」選擇沙發上之一位置時，其將最可能偏好觀看視野仿佛其正坐於對應於「原始視點」(亦即，偵測器原始期望之視點)之一位置中。另外，觀看者將然後亦體驗最少之演現假影，此乃因演現視點與標稱視點相同，儘管具有某些透視失真。反轉至標稱視點係進一步有利的，此乃因其提供用於提供進一步動態動作視差之最佳起始點。
在下文中，將提供當演現影像位於不同視點時影像產生器107所使用之原理之一更詳細闡述。
圖10中圖解說明投影之原理。假定經建模為一針孔攝影機且定位於=(x _C ,y _C ,z _C)(亦即，編製或內容視點)處之一攝影機、一物件點=(x _O ,y _O ,z _O)以及(在無普遍性損耗之情況下)一顯示器平面z=0以使得=(x _D ,y _D)係此平面之2D座標系統，然後保持以下透視關係，注意通常z _C<0：顯示器座標系統可按比例調整(舉例而言)以表示像素，但為簡明起見為兩個座標系統保持相同單位。針對一典型2D顯示器系統，攝影機(眼)經假定係居中以使得=(0,0,z _C)具有-z _C最佳觀看距離，簡化方程式(1)為：針對立體顯示器系統，像差通常經定義為左(L)影像及右(R)影像之投影差且可基於方程式(1)容易找到。在針對L及R等化z _C之情況下，像差關係簡化為：針對一典型立體系統，兩個攝影機係水平位移以使得存在一間距△x _C。為符合實際，間距應等於針對成年人平均係約65 mm之內眼距離但通常較少間距用於編製。在任何情形中，深度-像差關係變成：此處△x _D係物件點O之水平像差且不存在垂直像差。像差(△x)與深度(z)之間的關係係非線性的：無限深度給予等於當螢幕深度給予像差時之攝影機間距之像差。針對以影像為基礎之深度演現，優先於深度選擇像差通常係有益的，此乃因其更佳地映射至演現問題。通常儲存於深度映射中之深度值通常係像差之一仿射映射：△x _D=A△x _C+B. (5)其中A係一增益且B係一偏移。此等深度值可由影像產生器107轉換回成像差值。
若輸入信號中不提供明確深度映射或資料，可通常自視訊資料估計此資訊。實際上，若輸入信號包括立體影像，則可使用稱作深度估計或像差估計之演算法來基於對兩個影像中之對應影像物件之偵測及對此等之間的一像差之判定而估計影像物件之深度。實際上，甚至已提出用於自單個二維影像估計深度之演算法。
在當前立體顯示器件中，正採用像差估計以輔助此領域中稱作基線校正之校正。亦即，產生具有不同於原始立體序列之基線距離之一不同基線距離之一新立體序列。基線校正程序通常包括基於輸入立體序列而估計專用像差映射及隨後基於各別影像及像差映射而演現一新立體像對。後者演現步驟涉及基於所確立之像差值之像素之水平位移。
在圖1之系統中，影像處理單元101具有觀看者之眼位置之資訊。因此，針對所有左眼及右眼知道視點(t)。在最一般情形(亦即方程式(1))中，此產生水平像差以及垂直像差兩者。垂直像差之原因係：左眼及右眼並不具有相同觀看距離：z _C,L≠z _C,R。眼睛並非水平及位於顯示器高度處：y _C,L≠0 ∪ y _C,R≠0。
然而，在圖1之系統中，不考量沿垂直方向之視點之調整。此可特定藉由以下達成：使用一平均(或最小/最大/左/右)觀看距離：忽視所量測y座標：=0。
此允許使用相同演現常式但使用隨時間變化之A及B：在方程式(1)之一般情形中，左眼及右眼亦可具有垂直像差。此不允許使用一簡單的以掃描線為基礎之視野演現演算法。具有影像+深度內容，可想要將(1)重寫為：
此基於一參考攝影機位置及像素深度z _O而提供與一像素()相關聯之世界座標()。可然後將此座標映射回至顯示器平面，從而知曉實際攝影機/眼位置(因此係由頭部追蹤功能性判定之觀看者視點)：可分解觀看距離(z_E)及位置()之基值。為僅獲得側向觀看位置校正，假定z_E=z_C，且獲得關係：為僅獲得觀看距離校正，假定且獲得：
在以上論述中，已假定攝影機視野及之位置(視點)之可用性。在無此知識之情況下，仍可能假定一典型顯示器大小及觀看距離。取決於此選擇，內容沿z方向可係逼真的、平坦的或伸長的。相似地，可能不知曉深度值至像差之映射。在彼情形中，可能將深度值映射至寬裕之一像差範圍。亦在立體內容之情形中，可能像差僅係美化的且並不與真實座標良好相關。在所有情形中，仍可能提供動作視差。
為演現/繪製具有動作視差及視點校正之影像+深度內容，要求使用在輸入(色彩)影像時採取之一影像扭曲方法及具有2-D像差之一向量場。此等方法係自WO 1997023097知曉。
此等方法之品質取決於影像必須經扭曲之程度。像差映射之變異數可係演現假影之量之一指示。
系統追蹤相對於位置處之系統之使用者中之每一者之眼睛顯示器面板之位置。系統亦維持眼睛中之每一者之一演現視點位置(標示為)。演現係基於該演現視點。針對影像+深度內容之逼真(但受假影支配)之演現，=。針對無動作視差之演現，=，其中係如之前的攝影機位置。
當圖1之顯示器系統觀察到相對於顯示器之使用者之一移動時，演現視點位置可經調整以跟隨所偵測之觀看者視點：
在鏡頭轉場之間(亦即在鏡頭期間)採用此方法。然而，當估計一影像/圖框組對應於一鏡頭轉場時，使用者之演現視點經調整朝向標稱視點以便減少影像降級。此可特定藉由改變演現視點以對應於標稱(原始/編製/中心)視點而進行：在其他實施例中，引入一較流暢轉換/偏置以使得(例如)在每一鏡頭轉場時朝向標稱視點進行較小步進，諸如例如所闡述方法可結合不同類型之顯示器使用。
特定而言，系統可與向使用者僅呈現一單個影像(視野)之一傳統單像顯示器一起使用。在此情形中，儘管想一使用者之雙眼呈現相同影像，但可藉由實施動作視差而獲得一非常令人信服之3D效應。實質上，藉由追蹤觀看者視點及相應地改善演現視點，顯示器可呈現自實際觀看者視點將看到之視野。此達成環視物件之效應及對應一真實3D場景之改變之透視改變。
在其他實施例中，顯示器可係為使用者之雙眼提供不同影像之一立體影像。顯示器可(舉例而言)係在針對一使用者與戴上同步於影像切換之快門眼鏡之觀看者之眼睛之視點中之每一者之影像之間交替的一時間序列顯示器。在此情形中，可藉助利用立體3D線索及動作視差3D線索兩者之系統來達成一較有效且較強烈3D體驗。
在此一系統中，視點控制器113可產生針對右眼及左眼中之每一者之一演現視點且影像產生器107可產生針對對應視點之個別顯示影像。另一選擇係，視點控制器113可產生一單個演現視點且影像產生器107可自身使該演現視點針對兩個所演現影像中之每一者偏移一固定偏移。例如，演現視點可對應於使用者眼睛中間之一視點且影像產生器107可針對左右眼視點中之每一者使此偏移完全不同量。
該方法可進一步用於自動立體顯示器。此等顯示器當前通常產生相對大量之對應於不同視點之視錐。在使用者移動時，眼睛可在不同視錐之間切換藉此自動提供一動作視差及立體效應。然而，當複數個視野通常自參考中心視野之輸入資料產生時，影像降級針對外部視野增加。因此，當一使用者朝向極端視野移動時，其將感知以品質降級。所闡述系統可藉由改變現行視點而解決上述情況。舉例而言，若觀看者已定位於外部視野中達一既定持續時間，則視野可經切換以使得外部視野不呈現對應於外部視點之影像而呈現對應於較靠近中心之視點之影像。實際上，若使用者已定位於外部視錐達一充足持續時間，則系統可簡單滴切換來自較中心視錐之影像以在外部視錐中演現。在所闡述系統中，此影像/視錐切換可與鏡頭切換同步以便減少對觀看者之顯而易見性。
因此，當一觀看者相對於自動立體顯示器側向移動時，其將具有一自然體驗，其中顯示器透過立體視覺效應及動作視差效應兩者提供一3D體驗。然而，影像品質經朝向側面減少。然而，若使用者保持一側向位置，則顯示器將藉由漸進地且在使用者不注意之情況下改變針對外部視錐之影像之演現視點以使得其最終表示中心影像而自動調適。因此，影像品質將自動增加且顯示器將適應使用者之現在觀看位置。
應瞭解，在某些實施例中，偏置可係一固定預定偏置。然而，在諸多實施例中，偏置可係一適應偏置以使得演現視點(例如)朝向標稱視點之改變取決於各種操作特性。
舉例而言，偏置可取決於演現視點、觀看者視點或取決於標稱視點，或實際上取決於此等之間的關係。
特定而言，偏置可取決於演現視點與標稱視點之間的一差。舉例而言，演現視點距標稱視點越遠，影像品質降級越大且因此朝向標稱視點之偏置可針對一增加偏移而增加。因此，當使用者距顯示器之側面越遠時，調適演現視點以對應於標稱視點或編製視點可越迅速。
此外，偏置(程度)可取決於演現視點與觀看者視點之間的一差。舉例而言，針對標稱視野附近觀看者之較小移動及變化，可較佳根本不朝向標稱視野引入任何偏置，此乃因品質降級不可能顯著。然而，若觀看者視點偏離超過一既定臨限值，則降級可認為不可接受且可引入朝向標稱視點之偏置。在更負責實施例中，可依據(例如)觀看者視點與標稱視點之間的差之一連續及/或單調函數而判定偏置之程度。舉例而言，偏置之程度可受正調整之改變之大小或速度控制，諸如例如受調整在每一鏡頭轉場時應用之改變之步進大小或在鏡頭轉場期間應用改變之頻率控制。
在某些實施例中，偏置可取決於影像序列之一內容特性。因此，偏置可經調整以匹配正呈現之特定內容/影像。
舉例而言，偏置可取決於一經估計鏡頭轉場頻率及/或一鏡頭持續時間(亦即，鏡頭轉場之間的一時間)。舉例而言，若發生諸多且頻繁鏡頭轉場，則針對每一鏡頭轉場之演現視點之步進改變可係相對小，而若發生僅少許且不頻繁鏡頭改變，則演現視點之步進改變可針對每一鏡頭轉場經設定相對大。
在某些實施例中，鏡頭轉場頻率或間隔可藉由在演現管線中引入一延遲而自輸入信號判定。在其他實施例中，可基於先前特性而預測特徵行為。
在某些實施例中，偏置可取決於輸入影像之一深度特性。舉例而言，若存在具有急劇深度轉換之大深度變化，則可能影像品質降級比其中僅存在小深度變化且無急劇深度轉換之影像之品質降級相對大。舉例而言，後者情形可對應於僅含有背景且因此將不自不同視點大量改變(例如，具有少許或無經解遮蔽區域)之一影像。在第一情形中，可引入一相對強烈偏置以使演現視點迅速返回至標稱視點且在後者情形中可實施至標稱視點之一緩慢返回。
在某些實施例中，偏置可基於針對演現視點所計算之一品質降級指示而經調適。實際上，影像產生器107之演現演算法可自身產生所引入降級之一指示。作為一簡單實例，可藉由評估在無對應遮蔽資料可用之情況下已解遮蔽影像之一比例程度而產生演現假影之一量測，亦即，品質指示可藉由追蹤針對其藉由外插法或內插法自其他影像區域產生影像資料之影像區域之演現演算法判定。在高影像降級之情形中，可實施導致至標稱視點之一快速返回之一大偏置，而針對低影像降級，可實施一低程度偏置。
應瞭解，可使用其他諸多其他演算法及參數來調適不同實施例中之偏置。
在某些情景中，僅在鏡頭轉場期間引入偏置可認為係不足夠的。舉例而言，在某些情景中，可不存在任何鏡頭轉場達一非常長時間，從而導致具有減少影像品質之一長持續時間。相似地，若僅發生非常少鏡頭轉場，則可要求每一鏡頭轉場之步進改變係相對大，藉此導致一非常顯而易見之效應。
在某些實施例中，視點控制器113可因此能夠切換至一第二操作模式，其中演現視點仍朝向標稱視點偏置但此不與鏡頭轉場同步地進行(或僅部分與鏡頭轉場同步地進行，亦即，偏置改變之至少一部分係不同步的)。
舉例而言，在不存在鏡頭轉場時，系統可回復至演現視點朝向標稱視點之一緩慢連續偏置。此將被使用者感知為影像朝向對應於中心位置之影像之一緩慢擺鏡拍攝。儘管效應可比在偏置同步於鏡頭轉場時更顯而易見，但其可藉由實質上減少使用者感知一較低品質影像之時間而提供一經改良折衷。
何時切換至第二操作模式之決定可取決於諸多不同考量事項。實際上，參考偏置之程度之調整所闡述之參數及考量事項亦適用於何時切換至第二操作模式之決定。此外，非同步偏置之特性亦可經等效地調整且基於與同步偏置之考量事項相同之考量事項。
系統可實施一使用者干擾模型，該使用者干擾模型評估諸如相對於中心標稱視點之觀看者視點、深度資料之特性、由演現演算法所產生之品質指示等因素，且可判定是否引入演現視點之一非同步偏置以及可能此偏置之特性。
另一選擇係或另外，影像處理單元101可經配置以主動地引入鏡頭轉場至影像串流。圖11中圖解說明此一實施例之一實例。在該實例中，影像處理單元101進一步包括耦合於接收器105與影像產生器107之間的一鏡頭插入件1101。此外，鏡頭插入件1101耦合至視點控制器113。
在該實例中，視點控制器113可識別鏡頭轉場之數目不足以提供所期望偏置。作為一極端實例，可已發生無鏡頭轉場達一非常長時間。因此，視點控制器113可發送一信號至鏡頭插入件1101從而控制該鏡頭插入件插入鏡頭轉場。作為一低複雜性實例，鏡頭插入件1101可簡單地將一固定影像序列插入至影像串流從而導致一長鏡頭之一分裂。另外，視點控制器113將在鏡頭轉場期間同步地改變演現視點，藉此將演現視點朝向標稱視點偏置。
額外「偽」鏡頭轉場之引入可導致較不浸入式且顯而易見之一偏置操作。應瞭解，可實施諸多不同方式之引入鏡頭轉場，包含(舉例而言)插入一先前所接收之影像序列(例如，可偵測到且重新使用一全景鏡頭)，引入預定影像、插入暗影像等。作為另一實例，鏡頭轉場可由在切換回至偏置調整視點之前(但自一非常不同視點)產生相同場景之一短序列之影像產生器107引入。此可確保所呈現內容之連續性同時引入一較不顯而易見之偏置調整。實際上，使用者將感知在兩個攝影機之間往返之一攝影機「移位」同時仍觀看同時連續場景或內容。
精確偏好及實際上額外鏡頭轉場是否係所期望將取決於個別實施例及使用情景之特性。
鏡頭轉場之引入可特定取決於滿足一準則之一鏡頭持續時間特性，諸如例如，在自從最後鏡頭轉場超過一臨限值時產生一鏡頭轉場。此外，另一選擇係或另外，額外鏡頭轉場之引入可取決於滿足一準則之演現視點。舉例而言，當演現視點不同於標稱視點超過一既定臨限值時才可引入鏡頭轉場，亦即，鏡頭轉場可僅針對極端視野引入。
在某些實施例中，鏡頭轉場之引入可特定取決於滿足一準則之所演現影像之一品質降級指示。舉例而言，當由影像產生器107之演現演算法所產生之品質量測下降低於一臨限值時才引入鏡頭轉場。
在其中使用一自動立體顯示器之某些實施例中，回應於在其中其可跨越一視錐邊界之一情況下對觀看者之一偵測而可引入一鏡頭轉場。因此，當偵測到一觀看者觀看位於視錐之邊緣處或接近其處之一視野時，系統可觸發一鏡頭轉場。此可減少視錐轉換之可感知性或甚至完全遮罩該視錐轉換且可在諸多情景中減少演現視點之偏置之顯而易見性。
在某些實施例中，視點控制器113經配置以相對於顯示器之一標稱視點而限制演現視點。該限制可係一軟限制或一硬限制。舉例而言，演現視點可追蹤觀看者視點但僅直至觀看者視點不同於標稱視點超過一既定臨限值為止。因此，當一觀看者側向移動時，所呈現影像可相應地調適直至使用者移動遠於在其之後影像將不跟隨觀看者之一既定距離。特定而言，觀看者可僅在一定程度上環視一物件。此可確保影像品質降級不超過一既定位準。
特定而言，動作視差可係逼真或可係非線性的以使得動作視差效應隨距中心位置之距離而減少(緩和地或突然地)。此效應可藉由轉變而獲得：
通常較佳限制動作視差之量以在不存在鏡頭切變時避免演現錯誤，舉例而言藉由強加演現視點與攝影機視點之間的最大距離。此可達成為：
此方程式對應於具有中心及半徑y之一球體上之演現視點之一裁剪。作為另一實例，可如下使用一軟裁剪函數ρ( , )1來引入一軟裁剪：
ρ( , )之一實例性實施方案係一指數映射：其中p及β係可調參數。
先前闡述已側重於具有僅一個觀看者之一情景。然而，應瞭解，方法亦可用於多個觀看者。舉例而言，系統可追蹤複數個使用者之位置且調適演現視點以為多個使用者呈現最佳調和。在其他情景中，可能針對不同使用者(例如，針對其中使用者位於不同視錐中之一自動立體顯示器或針對呈現複數個使用者特定視錐之顯示器)分離視野。在此等情景中，方法可針對每一使用者個別地應用。
電腦程式產品外延意義應理解囊括一命令集合之任何實體實現，該命令集合之實體實現使得一一般或特殊用途處理器在一系列載入步驟(其可包含中間轉換步驟，諸如至一中間語言及一最終處理器語言之轉換)之後能夠將該等命令輸入至該處理器中，且以執行本發明之特性功能中之任何者。特定而言，電腦程式產品可實現為諸如例如一磁碟或磁碟之一載體上之資料、存在於一記憶體中之資料、經由一網路連接(有線或無線)傳輸之資料或文獻上之程式碼。除程式碼以外，程式所需要之特性資料亦可體現為一電腦程式產品。方法之操作所需之步驟中之某些步驟可已存在於處理器之功能性中而代替描述於電腦程式產品中，諸如資料輸入及輸出步驟。
應瞭解，為清晰起見，上述說明已參考不同功能電路、單元及處理器來闡述本發明之實施例。然而，應明瞭，可在不背離本發明之情況下使用不同功能電路、單元或處理器之間的功能性之任何適宜分散。舉例而言，圖解說明為由單獨處理器或控制器執行之功能性可由相同處理器或控制器執行。因此，應將對特定功能單元或電路之提及僅視為對用於提供所述功能性之適宜構件之提及，而非指示一嚴格邏輯或實體結構或組織形式。
本發明可以任何適宜之形式實施，包含硬體、軟體、韌體或此等之任何組合。本發明可視情況至少部分地實施為在一或多個資料處理器及/或數位信號處理器上運行之電腦軟體。可以任何適宜方式在實體上、功能上及邏輯上實施本發明一實施例之元件及組件。實際上，該功能性可實施於一單個單元內、複數個單元內或作為其他功能單元之一部分。因此，本發明可實施於一單個單元內而或可在實體上及功能上分散於不同單元、電路及處理器之間。
儘管已結合某些實施例闡述了本發明，但本發明並非旨在僅限於本文中所陳述之具體形式。而是，本發明之範疇僅受隨附申請專利範圍限制。另外，儘管一特徵可能看起來係結合特定實施例加以說明，然而熟習此項技術者將知，根據本發明，可將各所述實施例之各種特徵加以組合。在申請專利範圍中，術語「包括」並不排除其他元件或步驟之存在。
此外，儘管係個別列出，但複數個構件、元件、電路或方法步驟可由(例如)一單個電路、單元或處理器實施。另外，儘管在不同請求項內可包含個別特徵，然而此等特徵可有利地加以組合，且包含於不同請求項內並非意味著該等特徵之組合不可行或不有利。此外，將一特徵包含於一類請求項中並不意味著限於該類別，而是表示該特徵酌情同樣地適用於其他請求項類別。此外，請求項中各特徵之次序並不意味著該等特徵在起作用時所必須遵循之任何特定次序，且特定而言，一方法請求項中個別步驟之次序並不意味著必須以此次序來執行該等步驟。而是，可以任何適宜次序來執行該等步驟。另外，單數提並不排除複數形式。因此，所提及之「一(a)」、「一(an)」、「第一」、「第二」等並不排除複數。申請專利範圍中之參考符號僅提供作為一闡明實例，且不應將其視為以任一方式限制申請專利範圍之範疇。
101‧‧‧影像處理單元
103‧‧‧顯示器/顯示器面板
105‧‧‧接收器
107‧‧‧影像產生器
109‧‧‧信號產生器/輸出電路/顯示器驅動器
111‧‧‧鏡頭轉場偵測器
113‧‧‧視點控制器
115‧‧‧輸入/位置輸入
117‧‧‧位置處理器/處理器
200‧‧‧場景
301‧‧‧位置
302‧‧‧位置
401‧‧‧視野
402‧‧‧視野
403‧‧‧視野
404‧‧‧視野
501‧‧‧影像
502‧‧‧影像
503‧‧‧影像
504‧‧‧影像
601‧‧‧視野
602‧‧‧視野
603‧‧‧視野
604‧‧‧視野
700‧‧‧中心影像
800‧‧‧影像
901‧‧‧第一影像
1101‧‧‧鏡頭插入件/鏡頭切變產生器
圖1圖解說明根據本發明之某些實施例之一顯示器系統之實例；圖2圖解說明一個三維場景；圖3至圖9揭示圖1之三維場景之各種二維表示；圖10圖解說明當表示一顯示器上之一個三維場景時之一投影實例；且圖11圖解說明根據本發明之某些實施例之一顯示器系統之實例。
101‧‧‧影像處理單元
103‧‧‧顯示器/顯示器面板
105‧‧‧接收器
107‧‧‧影像產生器
109‧‧‧信號產生器/輸出電路/顯示器驅動器
111‧‧‧鏡頭轉場偵測器
113‧‧‧視點控制器
115‧‧‧輸入/位置輸入
117‧‧‧位置處理器/處理器

权利要求:
Claims (15)
[1] 一種用於產生用於一顯示器(103)之一信號之裝置，該裝置包括：一接收器(105)，其用於接收包括一影像序列之三維資料之一視訊信號；一影像產生器(107)，其用於基於該三維資料及一演現視點而產生該影像序列之顯示影像；一鏡頭轉場偵測器(111)，其用於偵測該影像序列中之鏡頭轉場；一視點控制器(113)，其用於與該等鏡頭轉場同步地改變該演現視點；及一信號產生器(109)，其用於產生該信號以包括該等顯示影像。
[2] 如請求項1之裝置，其進一步包括：一輸入(115)，其用於接收該顯示器之一觀看者之一位置之一位置指示；一處理器(117)，其用於回應於該位置指示而判定一觀看者視點估計；且其中該視點控制器(113)經配置以回應於該觀看者視點估計而判定該演現視點。
[3] 如請求項2之裝置，其中該視點控制器(113)經配置而不同步於該等鏡頭轉場地調整該再現視點以追蹤該觀看者視點估計之改變。
[4] 如請求項2之裝置，其中該演現視點朝向標稱視點之偏置取決於以下中之至少一者：該演現視點與一標稱視點之間的一差；該觀看者視點估計與一標稱視點之間的一差；該影像序列之一內容特性；該影像序列之一深度特性；一短轉換頻率估計；一鏡頭持續時間；及該演現視點之一品質降級指示。
[5] 如請求項1之裝置，其中該視點控制器(113)經配置以結合一鏡頭轉場引入對該演現視點之一步進改變。
[6] 如請求項1之裝置，其中該視點控制器(113)經配置以藉由與該等鏡頭轉場同步地朝向一標稱視點改變該演現視點而將該演現視點朝向該標稱視點偏置。
[7] 如請求項1之裝置，其中該顯示器(103)係一單像顯示器。
[8] 如請求項1之裝置，其中該顯示器(103)係一立體顯示器。
[9] 如請求項1之裝置，其進一步包括經配置以引入對該影像序列之一鏡頭切變之一鏡頭切變產生器(1101)。
[10] 如請求項9之裝置，其中該鏡頭切變產生器(1101)經配置以回應於以下中之至少一者而引入該鏡頭切變：滿足一準則之一鏡頭持續時間特性；滿足一準則之該演現視點；滿足一準則之一品質降級指示；及對跨越一自動立體顯示器之一視錐邊界之一觀看者之一偵測。
[11] 如請求項1之裝置，其中該視點控制器(113)經配置以回應於滿足一準則而切換至一第二操作模式，該視點控制器在處於該第二操作模式中時經配置以藉由不與該等鏡頭轉場同步地朝向該顯示器之一標稱視點改變該演現視點而將該演現視點朝向該標稱視點偏置。
[12] 如請求項1之裝置，其中該視點控制器(113)經配置以相對於一標稱視點限制該演現視點。
[13] 一種產生用於一顯示器(103)之一信號之方法，該方法包括：接收包括一影像序列之三維資料之一視訊信號；基於該三維資料及一演現視點而產生該影像序列之顯示影像；偵測該影像序列中之鏡頭轉場；與該等鏡頭轉場同步地改變該演現視點；及產生該信號以包括該等顯示影像。
[14] 一種電腦程式產品，其包括經調適以當在一電腦上運行時執行請求項13之所有步驟之電腦程式碼構件。
[15] 一種顯示器，其包括：一接收器(105)，其用於接收包括一影像序列之三維資料之一視訊信號；一影像產生器(107)，其用於基於該三維資料及一演現視點而產生該影像序列之顯示影像；一鏡頭轉場偵測器(111)，其用於偵測該影像序列中之鏡頭轉場；一視點控制器(113)，其用於與該等鏡頭轉場同步地改變該演現視點；一顯示器面板(103)；及一顯示器驅動器(109)，其用於驅動該顯示器面板以演現該等顯示影像。

类似技术:

公开号 | 公开日 | 专利标题

TWI558164B|2016-11-11|產生用於顯示器之信號之方法及裝置

KR101275542B1|2013-06-20|3차원 화상표시장치 및 3차원 화상표시방법

US9451242B2|2016-09-20|Apparatus for adjusting displayed picture, display apparatus and display method

US9094674B2|2015-07-28|Generation of three-dimensional movies with improved depth control

US6496598B1|2002-12-17|Image processing method and apparatus

JP4903888B2|2012-03-28|画像表示装置、画像表示方法、および画像補正方法

JP2004007395A|2004-01-08|立体画像処理方法および装置

WO2010095080A1|2010-08-26|Combining 3d image and graphical data

KR20140041489A|2014-04-04|스테레오스코픽 이미지의 동시적인 스테레오스코픽 및 모노스코픽 디스플레이를 가능하게 하기 위한 스테레오스코픽 이미지의 자동 컨버전

EP2466362A2|2012-06-20|Method and apparatus for providing stereoscopic image

US9030525B2|2015-05-12|Method and apparatus for optimal motion reproduction in stereoscopic digital cinema

JP2012080294A|2012-04-19|電子機器、映像処理方法、及びプログラム

US9161018B2|2015-10-13|Methods and systems for synthesizing stereoscopic images

EP3742396A1|2020-11-25|Image processing

KR20120106919A|2012-09-27|시청자세를 반영하는 3차원 입체영상 생성 시스템 및 방법

JP2011259012A|2011-12-22|立体画像再生装置及び立体画像再生方法

JP6207640B2|2017-10-04|２次元映像の立体映像化表示装置

JP2012120194A|2012-06-21|画像表示装置、画像表示方法、および画像補正方法

MXPA00002201A|2001-03-05|Image processing method and apparatus

AU8964598A|1999-03-22|Image processing method and apparatus

同族专利:

公开号 | 公开日

CN103609105A|2014-02-26|

US20140118509A1|2014-05-01|

TR201819457T4|2019-01-21|

EP2724542A1|2014-04-30|

CN103609105B|2016-12-21|

TWI558164B|2016-11-11|

EP2724542B1|2018-10-24|

JP6073307B2|2017-02-01|

US9485487B2|2016-11-01|

JP2014524181A|2014-09-18|

WO2012176109A1|2012-12-27|

引用文献:

公开号 | 申请日 | 公开日 | 申请人 | 专利标题

WO1997023097A2|1995-12-19|1997-06-26|Philips Electronics N.V.|Parallactic depth-dependent pixel shifts|

US5574836A|1996-01-22|1996-11-12|Broemmelsiek; Raymond M.|Interactive display apparatus and method with viewer position compensation|

GB2319684B|1996-11-26|2000-09-06|Sony Uk Ltd|Scene change detection|

KR20030049642A|2001-12-17|2003-06-25|한국전자통신연구원|스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상합성을 위한 카메라 정보 부호화/복호화 방법|

KR20050102126A|2003-02-21|2005-10-25|코닌클리케 필립스 일렉트로닉스 엔.브이.|숏컷 검출|

CN100449572C|2003-09-30|2009-01-07|皇家飞利浦电子股份有限公司|图像再现的运动控制|

JP4451717B2|2004-05-31|2010-04-14|株式会社ソニー・コンピュータエンタテインメント|情報処理装置および情報処理方法|

JP2006078505A|2004-08-10|2006-03-23|Sony Corp|表示装置および方法|

US7584428B2|2006-02-09|2009-09-01|Mavs Lab. Inc.|Apparatus and method for detecting highlights of media stream|

US9070402B2|2006-03-13|2015-06-30|Autodesk, Inc.|3D model presentation system with motion and transitions at each camera view point of interest with imageless jumps to each POI|

JP4187748B2|2006-03-23|2008-11-26|株式会社コナミデジタルエンタテインメント|画像生成装置、画像生成方法、ならびに、プログラム|

KR101483660B1|2007-07-26|2015-01-16|코닌클리케 필립스 엔.브이.|깊이－관련 정보 전파를 위한 방법 및 장치|

WO2009095862A1|2008-02-01|2009-08-06|Koninklijke Philips Electronics N.V.|Autostereoscopic display device|

US20100053310A1|2008-08-31|2010-03-04|Maxson Brian D|Transforming 3d video content to match viewer position|

JP5434231B2|2009-04-24|2014-03-05|ソニー株式会社|画像情報処理装置、撮像装置、画像情報処理方法およびプログラム|

JP4903888B2|2010-08-09|2012-03-28|株式会社ソニー・コンピュータエンタテインメント|画像表示装置、画像表示方法、および画像補正方法|US10063848B2|2007-08-24|2018-08-28|John G. Posa|Perspective altering display system|

US9123142B2|2012-10-02|2015-09-01|At&T Intellectual Property I, L.P.|Adjusting content display orientation on a screen based on user orientation|

EP2949121B1|2013-02-06|2020-07-15|Koninklijke Philips N.V.|Method of encoding a video data signal for use with a multi-view stereoscopic display device|

KR102019125B1|2013-03-18|2019-09-06|엘지전자 주식회사|3d 디스플레이 디바이스 장치 및 제어 방법|

JP6443654B2|2013-09-26|2018-12-26|ＴｉａｎｍａＪａｐａｎ株式会社|立体画像表示装置、端末装置、立体画像表示方法、及びそのプログラム|

GB2523555B|2014-02-26|2020-03-25|Sony Interactive Entertainment Europe Ltd|Image encoding and display|

EP3266199B1|2015-03-01|2019-09-18|NEXTVR Inc.|Methods and apparatus for supporting content generation, transmission and/or playback|

EP3331239A4|2015-07-31|2018-08-08|Kadinche Corporation|Moving image playback device, moving image playback method, moving image playback program, moving image playback system, and moving image transmitting device|

JP6622388B2|2015-09-04|2019-12-18|コーニンクレッカフィリップスエヌヴェＫｏｎｉｎｋｌｉｊｋｅＰｈｉｌｉｐｓＮ．Ｖ．|ビデオ画像に関連付けられているオーディオ信号を処理する方法および装置|

US10726593B2|2015-09-22|2020-07-28|Fyusion, Inc.|Artificially rendering images using viewpoint interpolation and extrapolation|

FI20165059A|2016-01-29|2017-07-30|Nokia Technologies Oy|Menetelmä ja laite videoinformaation käsittelemiseksi|

EP3249929A1|2016-05-25|2017-11-29|Thomson Licensing|Method and network equipment for establishing a manifest|

US11172005B2|2016-09-09|2021-11-09|Nokia Technologies Oy|Method and apparatus for controlled observation point and orientation selection audiovisual content|

US10650541B2|2017-05-10|2020-05-12|Microsoft Technology Licensing, Llc|Presenting applications within virtual environments|

EP3422711A1|2017-06-29|2019-01-02|Koninklijke Philips N.V.|Apparatus and method for generating an image|

EP3422708A1|2017-06-29|2019-01-02|Koninklijke Philips N.V.|Apparatus and method for generating an image|

JP2019022121A|2017-07-19|2019-02-07|ソニー株式会社|画像処理装置、および画像処理装置の制御方法|

JP6895837B2|2017-07-25|2021-06-30|三菱電機株式会社|表示装置|

EP3435670A1|2017-07-25|2019-01-30|Koninklijke Philips N.V.|Apparatus and method for generating a tiled three-dimensional image representation of a scene|

GB2566006A|2017-08-14|2019-03-06|Nokia Technologies Oy|Three-dimensional video processing|

KR20190027081A|2017-09-06|2019-03-14|삼성전자주식회사|전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체|

EP3777137A4|2018-04-06|2021-10-27|Nokia Technologies Oy|METHOD AND DEVICE FOR SIGNALING THE EXTENSION OF CONSIDERATION AND THE AREA OF CONSIDERATION FOR OMNIDIRECTIONAL CONTENT|

WO2020068383A1|2018-09-27|2020-04-02|Snap Inc.|Three dimensional scene inpainting using stereo extraction|

EP3644604A1|2018-10-23|2020-04-29|Koninklijke Philips N.V.|Image generating apparatus and method therefor|

US10860889B2|2019-01-11|2020-12-08|Google Llc|Depth prediction from dual pixel images|

WO2021052799A1|2019-09-19|2021-03-25|Interdigital Ce Patent Holdings|Devices and methods for generating and rendering immersive video|

WO2021214154A1|2020-04-21|2021-10-28|Realfiction Aps|A method for providing a holographic experience from a 3d movie|

CN111818380B|2020-08-06|2022-02-11|紫旸升光电科技有限公司|一种微型显示单元交互式同步影像显示方法及显示系统|

法律状态:

优先权:

申请号 | 申请日 | 专利标题

EP11170866||2011-06-22||

[返回顶部]